Zero Gap Is Not Restoration: Stratified Per-Question Probability Evaluation and Step-wise Mitigation of Benchmark Contamination
分层概率评估与逐步缓解基准污染：SA-PPG 与 RailCap
🧭 基准污染评估与缓解
Zhejiang University
提出分层每问题概率差距指标SA-PPG与解码干预方法RailCap，更准确评估并缓解基准污染。
📌 工作参考价值（3 点）
- 在生成式推荐或 query 推荐场景中，当训练数据可能被曝光交互污染时，可借鉴 SA-PPG 的分层概率评估思路：按干净模型求解概率分组统计，避免平均化掩盖过抑制与欠抑制。
- RailCap 的实时解码干预可迁移至生成式推荐的解码阶段：若生成结果接近训练样本的贪婪轨迹，则裁剪概率次高 Token，强制分散分布，提升多样性并减少直接记忆。
- 对电商 Agent 或 LLM 驱动的筛选/对话系统，在评测生成质量时，应警惕传统 accuracy 指标因 benchmark 污染而虚高，建议补充基于采样概率的细粒度评估。